IDEAL: In-DEpth ALignment Makes A Discrete Representation AutoEncoder
IDEAL：深度对齐构建离散表示自编码器
🧭 视觉生成 · 离散表示对齐
Fudan University · Shanghai Innovation Institute · University of Maryland, College Park
联合对齐浅层与深层视觉特征，使离散视觉标记兼顾保真度与语义，重建与生成双SOTA
📌 工作参考价值（4 点）
- 离散 token 学习借鉴：若在电商多模态推荐中学习物品的离散 Semantic ID，可引入浅层视觉特征（局部纹理、布局）与高层语义联合对齐，提升视觉 token 的重建保真度，有助于生成式推荐中 ID 的语义保持。
- 多层级特征融合范式：训练视觉 tokenizer 时，利用冻结的预训练视觉模型（如 DINO）提取多层特征，通过深度对齐损失强化 token 的表征能力，该思路可迁移至任何需要离散化视觉输入的推荐或搜索任务。
- 生成式推荐中视觉生成优化：若需在 Agent 或推荐流程中根据语义生成商品图像，IDEAL 的 tokenizer 可直接作为图像离散生成的前置工具，提升生成图像细节与语义一致性。
- 主要贡献在视觉生成领域，存在一定学术借鉴价值，但业务落地需二次适配。